Ngay khi Nguyễn Cao mất, Phụ chính Tôn Thất Thuyết (1835 - 1913), có làm bài Vãn Nguyễn Cao để điếu ông. Và trong dân gian cũng có thơ rằng:

Nhất thế khoa danh bách thế hùngĐiện cơ nguy sự tự thung dungThệ tâm thiên địa phi trường bạch,Khiến sử giang sơn mãn thiệt hồng

Tạm dịch:

Rất mực tài hoa rất mực hùngLiều mình vì nước tự thung dungTấc thề trời đất lòng phơi trắng,Răng nghiến non sông lưỡi nhuốm hồng.

Nhiều địa phương (mà trước kia ông từng khai lập làng xóm, đóng quân) đã lập đền thờ hoặc thờ ông là Thành hoàng. Tên ông được đặt cho một trong những đường phố lớn của thành phố Hà Nội, Thành phố Hồ Chí Minh và thành phố Bắc Ninh. Nhiều trường học cũng đã mang tên ông.